多模态控制
  1. 首页
  2. 多模态控制

列表

MOFA

MOFA

MOFA-Video是由腾讯AI实验室和东京大学研究人员开发的开源图像生成视频模型。该工具通过生成运动场适配器对图像进行动画处理，能够通过稀疏控制信号（如手动轨迹、面部关键点序列或音频）实现对视频生成过程中动作的精准控制。MOFA-Video支持零样本学习，能够将多种控制信号组合使用，生成复杂的动画效果，并能生成较长的视频片段。 ---
AI项目与工具 2025年06月12日
OmniBooth

OmniBooth

OmniBooth是一款由华为诺亚方舟实验室与香港科技大学联合开发的图像生成框架，支持基于文本或图像的多模态指令控制及实例级定制。它通过高维潜在控制信号实现对图像中对象位置和属性的精准操控，具备多模态嵌入提取、空间变形技术以及特征对齐网络等功能，广泛应用于数据集生成、内容创作、游戏开发、虚拟现实及广告营销等领域。
AI项目与工具 2025年06月12日
MultiFoley

MultiFoley

MultiFoley是一款基于多模态控制的音效生成系统，能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成，同时具备音频扩展和质量控制功能，广泛应用于电影、游戏、动画及虚拟现实等领域，为用户提供灵活且高效的声音设计解决方案。
AI项目与工具 2025年06月12日
ACTalker

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具，可生成高质量、自然的说话人头部视频。支持多信号控制（如音频、表情），采用并行 Mamba 结构和门控机制，实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异，适用于虚拟主播、远程会议、在线教育等多种场景。
AI项目与工具 2025年06月12日
Flex.2

Flex.2

Flex.2-preview是Ostris开发的开源文本到图像生成模型，具备80亿参数规模。支持长文本输入、图像修复和多模态控制输入，适用于创意设计、图像修复和内容生成等多种场景。模型基于扩散框架，采用多通道输入处理和高效推理算法，可通过ComfyUI或Diffusers库集成使用，适合实验性开发和个性化定制。
AI项目与工具 2025年06月11日